From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion
从二维网格到一维令牌：重塑多模态图像融合的共享表示
🧭 多模态图像融合 · 1D token表示
Zhejiang University · National University of Singapore · A*STAR (CFAR) · A*STAR (IHPC)
用冻结图像分词器的1D token作为全局外观载体，结合2D局部路径，通过选择性令牌编辑轻量控制融合一致性。
📌 工作参考价值（3 点）
- 论文用冻结的 VQ-VAE 类图像分词器将全局外观编码为少量 1D token，仅编辑关键 token 就能显著影响融合图像的色调、对比度等全局属性，这种“分离控制”的思路可以迁移到多模态商品图生成（如背景/光影切换）的轻量后处理模块。
- Selective Token Editing 的稀疏更新策略（只替换 1–5% 的 token）是一种低成本的条件注入方式，类似 Idea 可应用于推荐场景中视觉特征的快速领域自适应（如换季风格迁移），避免全量微调。
- 2D 与 1D 双路径并行的设计，为多智能体系统里“局部推理+全局规划”提供了一种具象化的架构参考：一个路径保留细粒度结构，另一个路径用 latent token 进行高层控制，两者解耦但互补。